腾讯互娱TA分享：2D美术中，哪些工作会最先被AI「杀死」？

编者按：当AI绘画展现出碾压性的优势时，更多的游戏从业者开始思考，这项技术会不会取代传统游戏美术创作，甚至「杀死」游戏行业的更多岗位？

在AI绘画引起争议之前，其实AI辅助就已经渗透到了游戏研发、内容创作、测试等各个环节，例如一些游戏过场动画会依靠AI补帧、一些游戏音乐可以是AI合成、一些游戏NPC的动作、对话也在利用AI技术批量生成……类比前述种种，未来AI绘画在游戏研发中的定位或许是辅助，而非取代。

事实上，目前已经有不少厂商开始探索AI绘画在游戏美术的落地和应用，包括哪些创作流程可以利用AI解放生产力、哪些AI工具会更好地辅助创作……这篇来自腾讯互动娱乐两位技术美术的文章，或许可以看作这些探索的其中之一。

以下为正文：

01

插画自动生成

今天有很大基数的AI绘画创作者们，他们的绘画水平其实很高，他们借助AI不是为了得到一个非常具体的精细度很高的绘画成品。他们想要的其实是AI给他们提供一个思路，可能是构图上的，可能是颜色上的，可能是更加摸棱两可的画面感受，然后他们再在这些基础之上进行自己的创作。

1.1 应用场景

• 概念图辅助设计，为前期角色设计、场景概念设计、服装设计、武器设计、海报设计等提供设计参考

• 相同风格衍生作品、风格迁移等。

1.2 上手难度

• 上手难度几乎为零，以Midjourney为例(见视频)，进入Midjourney Discord社区newbies板块，输入/imagine+描述语句发送。即可快速生成预览图。

文章头图来自作者初学Midjourney5分钟后的成果，所有内容相关链接放在文末。

1.3 应用案例

1.3.1 Midjourney

Midjourney是Disco Diffusion的原作者Somnai所加入的AI艺术项目实验室。可以通过字段生成概念设计图，目前已开放Beta测试版，已经能做到极为细致的概念设计图。

[ 上图为创作者使用midjourney输入如下一段话生成promote: "Earthquake,tsunami, tornado, volcano eruption, destruction of city, cinematic" ]

[ 上图为创作者使用midjourney输入如下一段话生成promote: "dark fantasy thief, full body, wearing leather armor suit, belts, strap, pockets on chest, white light smoke" ]

[ 国内艺术家Whimmy的AI创作作品 ]

[ 光子工作室群3D艺术家 陈麒宇老师的作品 ]

除此之外，目前不少AI绘画还有频繁更新的midjourney社区，公开的创作思路和源代码给社区和创作者带来无穷无尽的化学反应。

社区作品：

1.3.2 Dell-e-2

DALL·E 2 是一个新的人工智能系统，可以根据自然语言的描述创建逼真的图像和艺术。

美术同学可以尝试同样风格不同位置的风格迁移，为创作提供更多灵感和布局参考

• 通过使用文字关键词绘画

[ promote: Teddy bears, mixing sparkling chemicals as mad scientists,in a steampunk style ]

• 通过为绘画生成相同风格的变体

• 通过为绘画指定位置添加相同风格物件

1.3.3 ArtBreeder

Artbreeder，前身为 Ganbreeder，是一个协作的、基于机器学习的艺术网站。使用 StyleGAN 和 BigGAN 模型，该网站允许用户生成和修改面部、风景和绘画等类别的图像。通过混合图片绘制新的图片,为创作提供可能性和不同的风格参考方向

1.3.4 NVIDIA CANVAS

把笔触变成写实风格的风景。 

Nvida canvas提供了图层和类型笔刷用于通过简单的笔触绘制真实地形图片。

1.3.5 Style Transfer

将一种风格的图像内容优化为特定其他风格的内容类似ArtBreeder，将两张图像混合，可用于场景设定风格的测试及参考 

1.3.6 Stable Diffusion

Stable Diffusion中可以通过输入拼合的素材图生成完整的概念设计图，可以用于辅助场景构图等使用场景。

02

资产贴图生成

2.1 应用点

• 真实图片转Substance资产

• 提高贴图分辨率

• 快速制作天空盒

2.2 生成天空盒

GauGAN360 能将粗糙的涂鸦生成真实感的8K、360 度全景图。

2.3 配合AI绘制PBR贴图

2.3.1 Dream-Texture

• 可以使用简单的文本提示创建纹理、概念艺术、背景资源等。提供了多种选项（如使用“无缝”选项创建完美平铺且没有可见接缝的纹理贴图）定制化生成贴图

• 在现有纹理上快速创建变体

   尝试 AI 图像生成

2.3.2 其他实践

• 结合Photoshop、DALL-E 2\midjourney、Gigapixel AI、Substance 3D Sampler/Designer 和 Marmoset Toolbag ，MVDIA的材质艺术家演示了如何通过AI辅助，从照片图片到材质的工作流程。

03

2D Animation 绑定与动画制作

3.1 应用点

• 2D表情动作映射，2D 动画绑定等

3.2 Nvidia Vid2Vid Cameo

该模型基于生成式对抗网络 (GAN) 绘制面部动作，以捕捉实时运动，进而将该运动传输至虚拟角色。经过 18 万个视频的训练，该网络学会了如何识别 20 个关键点以对面部运动进行建模，即编码眼睛、嘴、鼻子、眉毛等部位的位置。

3.3 Creature：Auto Rigging 2D Humanoid Characters

Creature可为2D数字内容添加流畅的动画及自动2D绑定、2D FK/IK等。其中的Smart AI Rig功能只需提供角色姿势，按一下按钮即可对角色进行绑定和设置权重。

04

结语

赖于深度学习的发展和AI创作社区的兴起，截至今日AI在辅助美术创作领域有了很大的进步。经过调研，我们发现AI辅助逐渐有了转化成生产力潜力，人工智能的进步带来了新算法和高性能工具，为艺术家提供了一种新的创作和反思视角，让我们看到在游戏美术中使用AI的更多可能性。它所展现的实际效果也值得被创作者和开发者们重视。

在辅助2D创作设计时，也为我们提供了另一种思路，帮助艺术家提高创作效率和从一些繁琐的工作中解放出来。或许它会成为未来创作者的一个常备工具库，总之让我们期待它能带来的更多可能性。

05

参考内容

1. 参考链接

Midjourney:

Discord社区

• https://discord.gg/midjourney

Midjourney Quick StartL

• https://midjourney.gitbook.io/docs/

社区地址

• https://www.midjourney.com/app/feed/all/

作品案例
https://www.artstation.com/whimmy

详细使用方法
https://midjourney.gitbook.io/docs/user-manual#stylize-values

Artbreeder:

• https://www.artbreeder.com/

DALL-E-2

• https://openai.com/dall-e-2/

• https://www.artstation.com/stanbrown

Style-transfer

• https://www.fritz.ai/style-transfer/

Stable Diffusion

• https://stability.ai/blog/stable-diffusion-public-release

GAUGAN360

• http://imaginaire.cc/gaugan360/

AI Art in Game Dav

• https://www.youtube.com/watch?v=mM40Oe6FGEs

Nvidia Vid2Vid Cameo

• https://github.com/NVIDIA/vid2vid

Smart AI Rig - Creature Animation

• https://www.kestrelmoon.com/creaturedocs/Rigging/Smart_AI_Rig.html

Tools and Resources for AI Art

• https://pharmapsychotic.com/tools.html

Stable Diffusion built-in to the Blender shader editor.

• https://github.com/carson-katri/dream-textures

Super Powering Technical Artists Using Deep Learning

• https://www.youtube.com/watch?v=N6zoHLdMs3Q

Practical Deep Learning for VFX and Technical Artists

• https://www.youtube.com/watch?v=miLIwQ7yPkA

AI Art in Game Dev

• https://www.youtube.com/watch?v=mM40Oe6FGEs

2. 附录：AI隐私政策和licensor

目前关于AI作画的版权保护法律法规还未完善，不同的服务平台提供的版权和商用政策也不尽相同。以midjourney为例，目前免费用户遵循 NonCommercial 4.0协议，而付费用户在大部分情况下生成的图片都是可以商用的，但是对于大企业(1M/yr USD)则需要购买相应的合作计划，在使用AI辅助工具时，需要关注版权保护。

https://midjourney.gitbook.io/docs/billing

本文写作特别感谢 Samatha、陈麟宇

---

游戏葡萄招聘内容编辑，

点击「阅读原文」可了解详情

推荐阅读


点击下方公众号名片，获取游戏行业更多信息